Khi nhiệm kỳ của Tổng thống Mitterrand sắp kết thúc, Đảng Xã hội bị chia rẽ bởi một cuộc đấu tranh nội bộ giữa các phe nhóm để giành ảnh hưởng lãnh đạo đảng. Hollande cam kết hòa giải và thống nhất đảng phía sau Jacques Delors, Chủ tịch Ủy ban châu Âu, nhưng Delors phản đối các tham vọng của ông chạy đua vào ghế Tổng thống Pháp trong cuộc bầu cử năm 1995, dẫn tới việc Lionel Jospin giành lại vị trí lãnh đạo đảng mà ông từng giữ trước đó. Jospin chọn Hollande làm người phát ngôn chính thức của Đảng, và Hollande tiếp tục một lần nữa tranh cử cho Corrèze trong cuộc bầu cử năm 1997, giành chiến thắng và quay lại Quốc hội. Cùng năm đó, Jospin trở thành Thủ tướng Pháp, và Hollande giành chiến thắng trong cuộc bầu cử trở thành người kế vị làm Bí thư thứ nhất của Đảng Xã hội Pháp, một chức vụ ông sẽ giữ trong 11 năm. Bởi vị thế rất mạnh của Đảng Xã hội trong Chính phủ Pháp trong giai đoạn này, vị trí của Hollande khiến ông được một số người gọi là "Phó Thủ tướng". Hollande tiếp tục được bầu làm Thị trưởng Tulle năm 2001, một chức vụ ông sẽ giữ trong 7 năm tiếp theo.

Hành động từ chức giữa nhiệm kỳ của Jospin sau thất bại nặng nề trước ứng cử viên cực hữu Jean-Marie Le Pen ở vòng đầu của cuộc bầu cử Tổng thống Pháp năm 2002 khiến Hollande trở thành gương mặt đại diện của đảng cho cuộc bầu cử lập pháp năm 2002 nhưng, dù ông đã cố gắng hạn chế những thất bại và được tái cử đại diện cho khu vực của mình nhưng Đảng Xã hội đã mất đa số trong quốc hội. Để chuẩn bị cho Đại hội năm 2003 của đảng tại Dijon, ông đã có được sự ủng hộ của nhiều nhân vật đáng chú ý trong đảng và được tái cử làm Bí thư thứ nhất trước các phe cánh tả trong đảng. Sau thắng lợi của cánh Tả trong cuộc bầu cử địa phương năm 2004, Hollande được coi như một ứng cử viên tổng thống tiềm tàng, nhưng Đảng Xã hội bị chia rẽ về Hiến pháp châu Âu, và sự ủng hộ Hollande cho lập trường đồng ý yểu mệnh trong cuộc trưng cầu dân ý của Pháp về hiến pháp châu Âu đã gây ra sự xích mích bên trong đảng. Dù Hollande được tái cử chức Bí thư thứ nhất tại Đại hội Le Mans năm 2005, quyền lực của ông trong đảng bắt đầu sụt giảm từ thời điểm này. Cuối cùng, người tình của ông, Ségolène Royal, được lựa chọn là đại diện của Đảng Xã hội trong cuộc bầu cử tổng thống năm 2007, và bà bị thua cuộc trước Nicolas Sarkozy. Hollande bị lên án nặng nề vì khả năng vận động kém của Đảng Xã hội trong cuộc bầu cử năm 2007, và ông thông báo rằng mình sẽ không tiếp tục chạy đua một nhiệm kỳ Bí thư thứ nhất nữa. Hollande công khai tuyên bố sự ủng hộ của mình cho Bertrand Delanoë, Thị trưởng Paris, dù Martine Aubry giành chiến thắng trong cuộc bầu cử người kế vị ông năm 2008.

Sau khi từ chức Bí thư thứ nhất, Hollande lập tức được bầu thay thế Jean-Pierre Dupont làm Chủ tịch Hội đồng Corrèze tháng 4 năm 2008, một vị trí ông vẫn còn giữ tới hiện nay. Năm 2008 ông ủng hộ việc thành lập Giải châu Âu đầu tiên cho Lịch sử Địa phương (Giải Étienne Baluze), được thành lập bởi "Société des Amis du musée du cloître" của Tulle, theo sự đề nghị của nhà sử học Pháp Jean Boutier. François Hollande đã trao giải đầu tiên ngày 29 tháng 2 năm 2008 cho nhà sử học Italia Beatrice Palmero tại Hội đồng Corrèze.